DynamoDB データをS3 からインポートとS3 にエクスポート試してみた。

SUMANGALAS

2023.05.31

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

概要

S3 からDynamoDBにインポートする

DynamoDB の [Imports from S3] 機能を使用して、S3 から DynamoDB テーブルにデータをインポートできます。これにより、Amazon S3 から新しい DynamoDB テーブルにテラバイト単位のデータを一括インポートできます。CSV、DynamoDB JSON、または Amazon Ion 形式のデータをインポートできます。データは新しいテーブルにインポートされます。既存のテーブルへのインポートはサポートされていません。

S3 にデータのエクスポートする

DynamoDB の [Exports to S3] 機能を使用して、DynamoDB テーブルから S3 にデータをエクスポートできます。データをエクスポートするには、DynamoDB ソーステーブルでポイントインタイムリカバリ (PITR) を有効にする必要があります。DynamoDB JSON または Amazon Ion でデータをエクスポートできます。

この記事では、DynamoDB データをS3 からインポートとS3 にエクスポート試してみました。

やってみた

S3 から DynamoDB JSON 形式でデータをインポートする

JSON 形式でデータファイル [test-data.json] を作成し、そのファイルを S3 バケットにアップロードしておきます。

{"Item":
{
  "Id":{"S":"101"},
  "object":{"S":"image1.jpg"}, "size":{"S":"50KB"}, "Created":{"S":"Tuesday, 30 May 2023 at 1:15 PM"}
}
}
{"Item":
{
  "Id":{"S":"102"},
  "object":{"S":"image2.jpg"}, "size":{"S":"150KB"}, "Created":{"S":"Tuesday, 30 May 2023 at 2:15 PM"}
}
}
........

DynamoDB コンソールのナビゲーションペインで、[Imports from S3]を選択し、[Import from S3]をクリックしておきます。
S3 のソース URL を入力し、[DynamoDB JSON] を [Import file format] として選択しておきます。

テーブル名、パーティションキー、およびソートキー (必要な場合) を入力し、他の設定をデフォルトのままにしてデータをインポートしておきます。

インポートの [Status] を確認できます。インポートが失敗した場合は、CloudWatch ログでエラーの詳細を確認できます。

インポートが完了すると、DynamoDB テーブル内のデータを確認できます。

S3 から CSV 形式でデータをインポートする

CSV 形式でデータファイル [data.json] を作成し、そのファイルを S3 バケットにアップロードしておきます。この CSV データにはヘッダー値がありません。

101|image1.jpg|Tuesday, 30 May 2023 at 1:15 PM
102|image2.jpg|Tuesday, 30 May 2023 at 2:15 PM
......

CSV 形式でデータをインポートするには、[CSV] を [Import file format] として選択しておきます。
データファイルにはヘッダーがないため、ヘッダーを定義し、[Pipe ("|")] を [CSV delimiter character] として選択し、他の設定をデフォルトのままにしてデータをインポートしておきます。

インポートの [Status] を確認できます。インポートが失敗した場合は、CloudWatch ログでエラーの詳細を確認できます。

DynamoDB テーブルから S3 にデータをエクスポートする

データをエクスポートするには、DynamoDB ソーステーブルでポイントインタイムリカバリ (PITR) を有効しておきます。

DynamoDB コンソールのナビゲーションペインで、[Exports to S3] を選択し、[Export to S3]をクリックしておきます。
ソーステーブルと宛先S3バケットを選択し、[DynamoDB JSON] を [Exported file format] として選択して、エクスポートしておきます。